Nguyễn Tư Giản sinh tại làng Du Lâm, tổng Hội Phụ, huyện Đông Ngàn, phủ Từ Sơn, tỉnh Bắc Ninh (nay là thôn Du Lâm, xã Mai Lâm, huyện Đông Anh, thành phố Hà Nội), trong một gia đình khoa bảng nhiều đời, nhưng gia cảnh đã đến hồi sa sút. Ông là cháu nội danh sĩ Nguyễn Án, đồng tác giả sách Tang thương ngẫu lục. Cha ông là Nguyễn Tri Hoàn, làm quan tới chức Lang trung bộ Hình dưới thời Minh Mạng.

Từ nhỏ, Nguyễn Tư Giản nổi tiếng thông minh hay chữ. Lên 5 tuổi, thì mẹ mất, lên 11 tuổi thì cha mất, nên ông phải đến ở nhà ông bà ngoại (ông ngoại làm Thiếu tư khấu, tức Tham tri bộ Hình, lúc này ông đã mất) bên mé ngoài Cửa Bắc thành Hà Nội, gần hồ Trúc Bạch.

Sau này, trong bài thơ Đề Phổ Quang tự, ông có lời chú nhắc lại chuyện cũ như sau:

Ông ngoại tôi làm Thiếu tư khấu, có nhà riêng ở phía bắc cố đô Thăng Long. Nhà kề vườn sau của chùa Phổ Quang. Lúc nhỏ tôi được nuôi dưỡng ở bên ngoài. Hàng ngày tôi thường sang chơi đùa bên sân chùa, đá cầu, cưỡi ngựa tre.

Ban đầu, ông học với người anh cả là Nguyễn Đức Hiến, sau theo học ông Nghè Vũ Tông Phan, tại một ngôi trường ở thôn Tự Tháp, nằm ở phía tây Hồ Gươm thuộc phường Báo Thiên, huyện Thọ Xương (nay là quận Hoàn Kiếm, Hà Nội).

Năm 19 tuổi, ông đi thi nhưng bị hỏng, ba năm sau mới đỗ Cử nhân khoa thi năm Quý Mão 1843 ở trường Hà Nội, năm sau thị Hội đỗ luôn Tiến sĩ, vào Đình thí được ban Đệ nhị giáp Tiến sĩ xuất thân (tức Hoàng giáp) khoa Giáp Thìn (1844) dưới triều vua Thiệu Trị, xếp thứ 2 chỉ sau Đình nguyên Nguyễn Văn Chương.

Sau khi về quê bái tạ tổ tiên, ông vào Huế để nhận chức Tu soạn Hàn lâm viện, được cử vào ban biên tập bộ Thiệu Trị văn quy và được vua cho đổi tên Văn Phú thành Định Giản.

Năm Bính Thân (1846), ông được cử làm Tri phủ Ninh Thuận, nhưng vào mùa thu năm sau (1847), thì vị vua mới lên ngôi là Tự Đức cho triệu ông về kinh.

Trong mười năm ở kinh đô Huế (1847–1857), ông được nhà vua cho đổi tên lần nữa (Định Giản trở thành Tư Giản), và lần lượt trải các chức vụ: Khởi chú [2] ở lầu Kinh Diên, Thị giảng học sĩ ở Hàn lâm viện, Binh khoa cấp sự trung, Quang lộc tự khanh sung Biên nội các sự vụ.

Năm Đinh Tỵ (1857), Nguyễn Tư Giản được phép về thăm quê, đồng thời nhận nhiệm vụ nghiên cứu tình hình sông ngòi và đê điều ở đất Bắc. Khi trở lại, ông đề xuất "Phương lược trị thủy Nhị hà" gồm 10 điểm lên vua Tự Đức, rồi được chuyển xuống cho các bộ liên quan để cùng bàn bạc thực hiện [3].

Vì vậy, đang làm Thị lang bộ Lại, ông được cử làm Hiệp chính Biện lý đê chính sự vụ để lo việc trị thủy ở Bắc Kỳ. Mặc dù ông và các cộng sự có nhiều cố gắng, nhưng các năm sau vẫn có chỗ vỡ đê, khiến nhà vua không hài lòng, cho giáng chức ông và Nguyễn Văn Vỹ vào tháng Giêng năm Tân Dậu (1861), rồi cho giải tán Nha đê chính vào mùa xuân năm sau (1862).

Nhân lúc này ở vùng biển Hải Dương, Bắc Ninh đang có cuộc nổi dậy do Tạ Văn Phụng (còn được gọi là Lê Duy Phụng) lãnh đạo (sử cũ gọi là Nạn giặc biển), Nguyễn Tư Giản được điều làm Tham biện quân vụ Hải-Yên (Hải Dương –Quảng Yên), dưới quyền chỉ huy của Tổng thống quân vụ Trương Quốc Dụng để giúp việc đánh dẹp. Nhưng có một lần thành huyện Cẩm Giàng, thành tỉnh Hải Dương đều bị quân nổi dậy kéo tới huy hiếp, ông bị đình thần hạch tội là bất lực và nhà vua đã chấp thuận cho bãi chức ông [4].

Bị bãi chức, Nguyễn Tư Giản về dạy học ở làng Đôn Thư (Thanh Oai, thuộc Hà Tây cũ) trong khoảng một năm, rồi chuyển ra Hà Nội dạy ở phố Hàng Bồ thêm khoảng hai năm nữa, thì được lệnh gọi vào Huế làm Tu soạn ở Viện Hàn lâm, rồi Thị độc học sĩ ở lầu Kinh Diên.

Năm Đinh Mão (1867), Nguyễn Tư Giản được thăng hàm Hồng lô tự khanh. Tháng Sáu (âm lịch) năm Mậu Thìn (1868), ông được vua chọn đi sứ sang nhà Thanh. Sứ đoàn do Lê Tuấn làm Chánh sứ, ông và Hoàng Tịnh làm Phó sứ.

Sang Trung Quốc, Nguyễn Tư Giản học hỏi được nhiều điều [5], nên khi về nước ông cùng với Nguyễn Trường Tộ, Nguyễn Đức Hậu, Bùi Viện dâng sớ lên vua Tự Đức đề nghị một chương trình canh tân tự cường, như cho mở rộng bang giao với các nước phương Tây, cử học sinh ra nước ngoài để học kỹ nghệ mới lạ...Dù không được nhà vua nghe theo, nhưng các ông được nhiều người đương thời xem trọng, coi như một "tân đảng" [6].

Đi sứ về ông được thăng Thị lang bộ Lại kiêm phó Tổng tài Quốc sử quán. Ở chức vụ này, ông đã tham gia biên soạn và xét duyệt lần cuối bộ sử lớn của nhà Nguyễn là Việt sử thông giám cương mục.

Mùa hạ năm Quý Dậu (1873), triều đình Huế cử một phái bộ sang Pháp để điều đình chuộc lại Nam Kỳ. Nguyễn Tư Giản được cử làm Chánh sứ, nhưng ông dâng lấy lý do bệnh tật sức yếu, xin thoái thác. Theo Nguyễn Vĩnh Phúc, thì:

Thoái thác vì ông không tán thành chủ trương giải hòa với Pháp. Thực ra không đợi tới bây giờ mà trước đó 14 năm, khi thực dân Pháp tấn công Đà Nẵng, rồi đánh chiếm Gia Định (tháng 2 năm 1859), giữa lúc Trương Đăng Quế và Phan Thanh Giản là hai viên quan đứng đầu triều đã có chủ trương giảng hòa thì Tư Giản đang làm Đê sứ ở Bắc Kỳ đã gửi sớ về triều công kích chủ trương này. Đại Nam thực lục (đệ tứ kỷ, quyển 19) có ghi: Quan đê chính là Nguyễn Tư Giản dâng sớ nói thiết tha rằng không nên hoà với Tây Dương[7].

Năm Ất Hợi (1875)[8], ông được bổ chức Thượng thư bộ Lại sung Cơ mật viện đại thần.

Nhưng đến tháng Bảy (âm lịch), thì Nguyễn Tư Giản lại bị giáng chức phải ra làm Sơn phòng sứ ở Chương Mỹ (nay thuộc Hà Nội) coi việc lên khẩn hoang để chuộc tội (do vậy ông có thêm hiệu mới là Thạch Nông). Bởi trước đây ông đã cho một học trò[9] tên Phan Văn Nhã vào làm thư lại. Sau đó, Nhã đã làm ấn giả, bảng Cửu phẩm giả. Vì cả tin, nên Nguyễn Tư Giản, Tham tri Nguyễn Văn Thúy, Thị lang Nguyễn Mậu Đạo đều điềm nhiên ký tên và đóng dấu vào. Việc bị phát giác tâu lên, vua giao cho Pháp ty chiếu luật định án.

Năm Mậu Dần (1878), nhân dịp lễ “Ngũ tuần đại khánh” của vua Tự Đức ông được triệu về Huế, trao chức Thị giảng học sĩ và ủy nhiệm phụ trách việc khánh tiết.

Sau biến cố tại Kinh thành Huế xảy ra vào đêm 22 tháng Năm năm Ất Dậu (1885), vua Hàm Nghi cùng đoàn tùy tùng chạy ra Tân Sở (Quảng Trị), vua Đồng Khánh lên thay, Nguyễn Tư Giản được cử giữ chức thị lang bộ Hộ, nhưng sau đó nên ông giả ốm xin về nghỉ.

Năm 1886, chiều theo ý của Pháp, Kinh lược sứ Nguyễn Trọng Hợp cho mời một số danh sĩ ra làm việc. Từ chối mãi không được, Nguyễn Tư Giản phải ra làm Tổng đốc Ninh-Thái (Bắc Ninh-Thái Nguyên).

Tháng 3 năm 1887, vua Đồng Khánh trích công quỹ một ngàn đồng Đông Dương để Chính phủ Pháp mua đồng đúc tượng Toàn quyền Paul Bert. Nhân đó, các quan trong Nha Kinh lược Bắc Kỳ là Nguyễn Hữu Độ và Nguyễn Chính cũng bày ra chuyện lạc quyên ở các tỉnh để góp thêm tiền mua đồng. Thế nhưng, các quan chức ở tỉnh Ninh-Thái không quyên góp một đồng nào. Lập tức, Nha Kinh lược tâu lên vua, xin cho tra vấn và đổi chức. Thuận theo yêu cầu, vua Đồng Khánh cho Nguyễn Xuân Duẩn đến thay đồng thời triệu Nguyễn Tư Giản về Nha Kinh lược xét hỏi.

Bị tra vấn, Nguyễn Tư Giản biện giải rằng:

Việc này, không do chỉ dụ nhà vua giao trách nhiệm cho cả ba kỳ. Chỉ riêng Nha Kinh lược Bắc Kỳ định ra, các Tổng đốc không được dự bàn thì không trách cứ được. Việc quyên góp là việc làm tự nguyện, pháp luật cũng không ràng buộc, các quan chức Ninh-Thái hiện nay đang rất túng quẫn, không thể có tiền góp sang nước Pháp[10]

Sau đó, Nguyễn Tư Giản xin được từ quan, về ẩn thân[11] dạy học ở Phát Diệm (thuộc Ninh Bình) cho đến năm Canh Dần (1890) thì mất tại đây, thọ 67 tuổi.